บั้นปลายชีวิตหลวงพ่อปุย ตั้งแต่ พ.ศ.2511 เป็นต้นมา เริ่มมีสุขภาพไม่ดี อาพาธเป็นโรคหอบหืด และปัสสาวะไม่ออก (นิ่ว) วันที่ 8 มิถุนายน พ.ศ.2521 ท่านจึงนิมนต์พระในวัดทั้งหมด และคณะศิษย์ที่อยู่ใกล้ชิดขณะนั้น มาประชุมเพื่อเป็นสักขีพยานในการปลงสังขารและบริขารของท่าน  

เดือนตุลาคม พ.ศ.2522 ท่านเริ่มอาพาธอีกครั้ง ครั้งนี้มีอาการไม่ดีนัก คณะศิษย์จึงขออนุญาตพาเข้ารับการรักษา แต่ท่านปฏิเสธด้วยปลงในสังขารแล้ว แต่คณะศิษย์ไม่อาจนิ่งเฉยได้ จำต้องขัดใจท่าน พาเข้ารับการรักษาที่โรงพยาบาลเจ้าพระยายมราช อำเภอเมืองสุพรรณบุรี จังหวัดสุพรรณบุรี เมื่อมีอาการดีขึ้น แพทย์จึงอนุญาตให้กลับวัดได้ เมื่อวันที่ 14 พฤศจิกายน พ.ศ.2522

เมื่อกลับถึงวัดเกาะ ท่านจึงอนุญาตให้ศิษย์เตรียมหีบศพไว้ และพูดเชิงล้อว่า "อย่าให้ใครใช้ก่อนนะ" หลังจากนั้นจึงสั่งเสียว่า "ฉันเองคงอยู่ด้วยไม่นาน ฝากศพด้วย"

ต่อมาท่านอาพาธด้วยโรคหอบหืดอีกครั้งหนึ่ง วันที่ 25 มกราคม พ.ศ.2523 คณะศิษย์จึงพาเข้ารับการรักษาที่โรงพยาบาลเจ้าพระยายมราช ครั้งนี้มีอาการค่อนข้างหนัก แต่ท่านมิได้บ่นร้องถึงทุกขเวทนาใดๆ ปกติหากห่างวัด ท่านจะเป็นห่วง พูดถึงวัดและชาวบ้าน แต่ครั้งนี้ท่านมิได้พูดถึง คล้ายกับว่าไม่มีห่วงใดๆ แล้ว มีเพียงผ้าไตรครองของท่านเท่านั้น ที่บอกกับศิษย์ให้นำมาไว้ใกล้ๆ ตัวท่าน เมื่อถึงวันใกล้ละสังขาร ท่านจึงบอกว่า "ฉันอยู่ไม่ทันสร้างศาลาฯ เสียแล้ว"

วันที่ 8 กุมภาพันธ์ พ.ศ.2523 เวลา 16.11 น. ท่านละสังขาร ณ โรงพยาบาลเจ้าพระยายมราช ตรงกับวันศุกร์ ปีมะแม อันเป็นวันและปีเกิดของท่าน ซึ่งคนโบราณมีคติความเชื่อว่าตายวันตัว ถือว่าเป็นการสิ้นอายุขัย สิริอายุ 84 ปี 8 เดือน 8 วัน อุปสมบทได้ 62 พรรษา